Năm 1949, tại chiến khu D ở Biên Hòa, Đồng Nai, ông kết hôn với người vợ đầu tên Nhàn, quê ở Hà Nam. Hai ông bà có với nhau 7 người con. Bà Nhàn qua đời ngày 13 tháng 1 năm 1964 ở miền bắc Việt Nam khi sinh đứa con út.[2]

Ba năm sau, năm 1967, ông chung sống với người vợ thứ hai. Bà là vợ của đồng đội ông đã mất vì bệnh hiểm nghèo và đã có bốn con riêng với người đồng đội ấy.[2] Năm 2003, bà vợ thứ hai mất. Ông di nguyện sau khi chết muốn được an táng cạnh bà ở nghĩa trang Thanh Tước.[2]

Các con ông:

• Con gái lớn Hà Thúy, năm 2010 là Thượng tá công an, Phó trưởng phòng, công tác tại Tổng cục Hậu cần - Kỹ thuật[2]
• Con trai Hà Tuấn, năm 2010 là nhà báo, Đại tá công an, Phó trưởng ban Báo Công an nhân dân[2]
• Con trai Hà Tiến, sĩ quan công an, đã xuất ngũ năm 1983 vì sức khỏe yếu[2]
• Con gái Hà Loan, sĩ quan công an, đã chuyển ngành làm trong ngành Ngoại thương[2]
• Con trai thứ sáu Hà Dũng, năm 2010 là Thượng tá công an, Phó trưởng Phòng Quản lý xuất nhập cảnh[2]